Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training
将科学论文展开为多轮生成轨迹用于继续预训练
🧭 合成写作轨迹 · 继续预训练 ★ 深度解读
ByteDance Seed · Nanjing University · Evolvent AI
把 arXiv 论文展开为“写作请求→全局计划→逐节思考→正文”多轮轨迹，构建 60B token CPT 语料，提升写作与长文阅读
📌 工作参考价值（4 点）
- 真实业务长文本可反向构造“写作过程”数据，不改写内容：电商商品详情页、广告落地页、搜索导购长文、Push 文案等结构清晰的长文本，保留原文为答案/正文，反向生成用户 request + 全局规划 + 每段写作前 deliberation，适合 CPT 或 SFT，能提升文案生成、摘要、长文阅读，同时把事实锚定在原文减少幻觉。
- 结构化文档拆成多轮轨迹，让模型学会规划与分段生成：按 section/block 拆分，在每段正文前插入 pre-writing deliberation，比“整篇+一段思考”更细粒度；对推荐理由生成、商品对比、报告生成等任务，可把商品参数、卖点、用户评论作为不同 section 来构造数据。
- 数据构造不依赖大模型，用 4B/9B 开源模型即可：论文显示 4B 生成器下游效果最好，且更难拟合的 synthetic data 更有训练价值；业务上可以低成本大批量生产 trajectory 数据，不必上最强 API。
- 评估也锚定 held-out 真实文本，并生成 rubric/checklist：可借鉴到业务评测：从近期未用于训练的真实商品/query/文章抽取，让 LLM 反向生成题目 + 评分规则，用代码可检查的 checklist 做格式/事实约束，配合 LLM judge 打分。